В минувшие выходные Meta выпустила две новые языковые модели из семейства Llama 4: компактную версию под названием Scout и среднеразмерную Maverick, которую компания позиционирует как серьёзного конкурента GPT-4o и Gemini 2.0 Flash. Meta утверждает, что Maverick превосходит эти модели по ряду популярных бенчмарков.
Почти сразу после запуска Maverick занял второе место на платформе LMArena — сайте, где пользователи голосуют за лучшие ответы различных ИИ-систем. В пресс-релизе Meta особо подчеркнула, что Maverick получил ELO-оценку 1417, опередив GPT-4o и уступив лишь Gemini 2.5 Pro. Высокий рейтинг свидетельствует о частых победах модели в сравнительных тестах.
Однако вскоре после триумфального старта внимательные исследователи обнаружили нюанс в документации Meta. Как выяснилось, в LMArena была задействована не та версия Maverick, которую могут использовать обычные пользователи. По данным TechCrunch, Meta признала, что в тестах участвовала экспериментальная чат-версия, специально оптимизированная для ведения диалога.
Это открытие вызвало волну обсуждений: действительно ли Meta может на равных конкурировать с закрытыми моделями от OpenAI, Anthropic и Google, или же это был слишком смелый маркетинговый ход?